Khi Wallenberg tới Công sứ quán của Thụy Điển ở Budapest trong tháng 7 năm 1944, thì chiến dịch chống những người Do Thái ở Hungary đã được tiến hành trong nhiều tháng. Từ tháng 5 tới tháng 7 năm 1944, Eichmann và những cộng sự viên của ông ta đã lưu đày thành công trên 400.000 người Do Thái bằng xe lửa chở hàng hóa, trong số này có 15.000 người được đưa trực tiếp tới Trại tập trung Auschwitz ở miền nam Ba Lan.[14] Vào thời điểm mà Wallenberg tới Budapest, chỉ còn khoảng 230.000 người Do Thái vẫn còn ở Hungary. Cùng với nhà ngoại giao Thụy Điển đồng nghiệp Per Anger,[20] ông đã cấp các "hộ chiếu che chở" (tiếng Đức: Schutz-Pass), xác nhận những người mang hộ chiếu đó là công dân Thụy Điển đang chờ hồi hương, và do đó ngăn ngừa việc đày ải họ. Mặc dù không hợp pháp, nhưng những hộ chiếu này trông có vẻ chính thức và thường được chính quyền Hungary và Đức - những người đôi khi cũng được hối lộ - chấp nhận.[13] Công sứ quán Thụy Điển ở Budapest cũng thành công trong việc thương lượng với những người Đức để những người mang "hộ chiếu che chở" được đối xử như công dân Thụy Điển và khỏi phải đeo phù hiệu màu vàng mà những người Do Thái phải đeo.[11]

Bằng tiền do "Ủy ban người tỵ nạn chiến tranh" cung cấp, Wallenberg đã thuê 32 tòa nhà ở Budapest và công bố chúng thuộc lãnh thổ hải ngoại (extraterritorial) của Thụy Điển, được quyền miễn trừ ngoại giao. Ông gắn các tấm biển như "Thư viện Thụy Điển" và "Viện Nghiên cứu Thụy Điển" trên các cánh cửa và treo các cờ Thụy Điển lớn ở trước các tòa nhà để che đậy. Các tòa nhà đó đã dung nạp gần 10.000 người Do Thái.[9]

Sandor Ardai, một trong những tài xế làm việc cho Wallenberg, đã kể lại những gì mà Wallenberg đã làm khi ông chặn một chuyến xe lửa chất đầy người Do Thái sắp rời ga để tới Auschwitz:

.. ông ta leo lên nóc xe lửa và trao các "hộ chiếu che chở" qua các cửa chưa niêm phong. Ông lờ đi lệnh của những người Đức bắt ông xuống khỏi tàu, rồi những người thuộc đảng Arrow Cross (đảng Quốc xã Hungary) bắt đầu bắn và quát mắng đuổi ông ta đi. Ông ta lờ họ đi và thản nhiên tiếp tục trao các hộ chiếu vào tay những người với tới (hộ chiếu). Tôi tin là những người đảng Quốc xã Hungary cố ý nhắm (mục tiêu) phía bên trên đầu ông, vì không phát súng nào trúng ông. Tôi nghĩ đây là những gì mà họ làm vì họ quá ấn tượng bởi sự dũng cảm của ông. Sau khi Wallenberg đã trao hết hộ chiếu cuối cùng, ông ra lệnh cho những người có hộ chiếu rời khỏi xe lửa và đi tới dẫy xe đậu gần đó, tất cả đều ghi dấu cờ Thụy Điển. Tôi không nhớ chính xác là bao nhiêu, nhưng ông ta đã cứu nhiều người ra khỏi xe lửa, và người Đức cùng các đảng viên Quốc xã Hungary đã đứng chết lặng, họ để cho ông ta đi với đoàn xe.[21]

Váo lúc cao điểm của chương trình, trên 350 người đã tham gia vào việc giải cứu những người Do Thái.[22] Nữ tu Sára Salkaházi đã bị bắt vì che giấu các phụ nữ Do Thái và đã bị các đảng viên đảng Quốc xã Hungary giết. Nhà ngoại giao Thụy Sĩ Carl Lutz cũng cấp những "hộ chiếu che chở" của Đại sứ quán Thụy Sĩ cho người Do Thái trong mùa xuân năm 1944; và doanh nhân người Ý Giorgio Perlasca đã giả làm một nhà ngoại giao Tây Ban Nha và đã cấp các thị thực (visas) giả mạo (cho người Do Thái).[23] Berber Smit (Barbara Hogg), con gái của Lolle Smit (1892–1961), giám đốc của N.V. Philips Budapest và là một gián điệp Hà Lan làm việc cho cơ quan Secret Intelligence Service (Cơ quan Tình báo mật, viết tắt là MI6) của Anh, cũng đã trợ giúp Wallenberg. Theo người con trai của bà cho biết, bà đã có mối tình lãng mạn với ông ta.[24] Một người con gái khác của Lolle Smit - Reinderdina Petronella (1922–1945) – qua đời ngày 18.8.1945 ở Bucharest.

Wallenberg bắt đầu ngủ ở một nhà khác nhau mỗi đêm, để tránh khỏi bị các đảng viên Quốc xã Hungay hoặc những người của Adolf Eichmann bắt cóc hoặc giết chết.[25] Hai ngày trước khi quân Liên Xô chiếm Budapest, Wallenberg đã thương thuyết với cả Eichmann lẫn trung tướng Gerhard Schmidthuber, người chỉ huy tối cao lực lượng Đức ở Hungary. Wallenberg đã hối lộ Pál Szalai đảng viên đảng Quốc xã Hungary để trao một công hàm trong đó Wallenberg thuyết phục những người Đức hủy bỏ nỗ lực cuối cùng nhằm tổ chức một death march (những cuộc đi bộ chết người)[26] của những người Do Thái còn ở lại Budapest bằng cách đe dọa sẽ truy tố họ phạm tội chiến tranh một khi chiến tranh đã chấm dứt.[11][13]

Những người được Wallenberg cứu thoát trong đó có nhà hoá sinh Lars Ernster, được giấu trong Đại sứ quán Thụy Điển ở Budapest, và Tom Lantos, sau này là dân biểu Hạ viện Hoa Kỳ, người đã sống ở một trong các nhà che chở của Thụy Điển.[27]